Câu lạc bộ do Floris Stempel, Carel Reeser, anh em Han và Johan Dade thành lập tại Amsterdam, ngày 18 tháng 3 năm 1900. Câu lạc bộ thăng hạng cao nhất của bóng đá Hà Lan từ năm 1911 và có chức vô địch đầu tiên vào năm 1917 (Cúp KNVB). Mùa giải sau đó, họ giành chức vô địch quốc gia lần đầu tiên. Câu lạc bộ bảo vệ chức vô địch vào mùa 1918–19, trở thành đội bóng duy nhất có mùa giải bất bại tại Giải VĐQG Hà Lan.

Throughout the 1920s, Ajax was a strong regional power, winning the Eerste Klasse West division in 1921, 1927 and 1928, but could not maintain its success at national level. Khi giải đấu được thay đổi vào những năm 30, họ vô địch 5 lần (1931, 1932, 1934, 1937, 1939), trở thành đội bóng Hà Lan thành công nhất vào thời điểm đó. Ajax giành cúp KNVP lần thứ 2 vào mùa 1942–43 và chức vô địch Hà Lan lần thứ 8 vào mùa 1946–47, mùa giải cuối cùng câu lạc bộ được dẫn dắt bởi HLV Jack Reynolds, thâu tóm tất cả các chức vô địch nội địa, kể cả chiếc Cúp KNVB năm 1917.

Vào năm 1956, mùa giải chuyên nghiệp đầu tiên của Giải VĐQG Hà Lan được diễn ra, Ajax tham dự với tư cách là người sang lập. Câu lạc bộ thủ đô giành chức vô địch đầu tiên trong kỉ nguyên này, đồng thời ra mắt tại đấu trường Cúp Châu Âu trong trận thua ĐKVĐ của Hungary Vasas SC với tổng tỉ số 6-2 tại vòng tứ kết. Họ tiếp tục vô địch Giải VĐQG vào năm 60 và giành Cúp KNVB lần thứ 3 vào năm 1961.

Năm 1965, Rinus Michels, người từng chơi cho CLB trong khoảng từ 1946-1958 trở thành HLV của Ajax. Ông đem triết lí về Bóng đá Tổng lực, không chỉ riêng tới Ajax mà còn cả Đội tuyển quốc gia Hà Lan. 1 năm sau, Johan Cruyff, huyền thoại bóng đá Hà Lan, có trận đấu đầu tiên cho CLB. Trong khoảng thời gian này, Michels và Cruyff tạo nên thời kì hoàng kim nhất trong lịch sử CLB, vô địch Hà Lan đến 7 lần, 4 Cúp KNVB và 3 Cúp C1 liên tiếp (1971-1973).

Ajax vô địch quốc nội vào các năm 1966-1968, và đã vào đến trận chung kết Cúp Châu Âu vào năm 1969, khi họ để thua Milan. Trong mùa giải 1966-67, Ajax ghi tới 122 bàn thắng tại Giải VĐQG, lần đầu đoạt cú đúp danh hiệu Cúp KNVB và VĐQG Hà Lan. Mùa giải 1969-70, Ajax vô địch Hà Lan lần thứ 4 và cú đúp quốc nội lần thứ 2 trong 5 năm, thắng 27/34 trận và ghi 100 bàn.

Mùa giải 1970-71, Ajax bảo vệ Cúp KNVB và vào đến trận chung kết Cúp C1 năm 71, nơi họ thắng Panathinaikos 2-0 để lần đầu đoạt Cúp Châu Âu. Johan Cruyff đoạt danh hiệu Cầu thủ xuất sắc nhất châu Âu trong mùa giải này. Sau mùa giải đó, Rinus Michels chuyển tới Barcelona, thay thế cho ông là Stefan Kovács. Mùa giải đầu tiên của mình, ông giúp CLB đoạt cú ăn ba (Cúp C1, Cúp KNVB, vô địch Hà Lan). Mùa giải tiếp theo, họ đánh bại CLB của Argentina Independiente để vô địch Cúp Liên lục địa năm 72, bảo vệ chức vô địch quốc nội, trở thành đội bóng đầu tiên sau Real Madrid ở những năm 50 giành 3 chức vô địch C1 liên tiếp.

Năm 1973, Johan Cruyff chuyển tới Barca với mức phí kỉ lục thế giới (~2 triệu USD). Kovács chuyển đến dẫn dắt Đội tuyển quốc gia Pháp, kết thúc thời kì vàng son của CLB.